[첫 번째] 일본의 미리 훈련 된 뉴토끼 165 Bert를 사용해보십시오

소개

Bert는 자연 언어 처리 팀의 핫한 주제입니다 Google이 발표 한 미리 훈련 된 뉴토끼 165을 살펴보기 전에도 매우 흥분했습니다

우리는 두 부분으로 뉴토끼 165가 무엇인지, 그것이 유용한지를 설명 할 것입니다

• 1st (이 기사) : 뉴토끼 165는 무엇입니까
• 두 번째 판 : 실제 검증 결과보고

종이 :Bert : 언어 이해를위한 깊은 양방향 변압기의 사전 뉴토끼 165
github :Google-Research/뉴토끼 165

뉴토끼 165는 무엇입니까

ai 현재 추구 중

뉴토끼 165가 무엇인지 말하기 전에 뉴토끼 165와 같은 요구의 배경을 설명 할 것입니다

AI 뉴토끼 165 (아키텍처)은 목적에 따라 두 가지 범주로 광범위하게 나눌 수 있습니다 하나는 해결할 수있는 제한된 수의 문제 만 있지만 높은 정확도는 예상 될 수 있다는 것입니다Specialized", 다른 하나는"제네릭 타입"
그림 1과 같이 특수 뉴토끼 165에는 각 작업에 고유 한 뉴토끼 165이 필요합니다 그러나 그림 2와 같이, 일반 목적 뉴토끼 165은 모든 작업에 공통 뉴토끼 165을 사용하여 기능을 추출하는 데 사용될 수 있으므로 간단한 뉴토끼 165을 만들어 다양한 작업을 처리 할 수 있습니다

딥 러닝의 최근 동향으로 인해 AI 뉴토끼 165에 필요한 계산 비용이 발생했습니다 따라서 만들어야 할 소수의 뉴토끼 165이 있습니다제네릭 타입"에 대한 뉴토끼 165 수요 매일 점점 더 성장하고 있습니다 자연어 처리에서 "제네릭 타입"는 초록"단어의 의미"및"Context와 같은 정보를 사용할 수 있어야했습니다

"일반 목적 유형"으로의 여정

2013 년 Google 리서치 팀이 자연 언어 처리의 일반 목적 유형을 게시했습니다Word2Vec라는 기술이 있습니다 이 방법은 신경망을 사용하여 "단어의 의미"를 추출하여 자연어 처리의 세계에서 획기적인 것을 가져옵니다 그러나이 방법은 또한 요구 사항을 완전히 충족하지 못했습니다Word2Vec예를 들어, "콜드"와 같은 문맥에 따라 의미가 변하는 단어에 약한 단어에 대한 방법이었고, 단어에 약했습니다 또한, 우리는 단어의 의미 만 해석하기 때문에 단어의 의미를 넘어서는 뉘앙스와 같은 추상 정보를 해석 할 수 없었습니다

추상 정보를 추출하는이 문제에 대해 효과적인 방법변압기변압기i주의를 사용함으로써, 우리는 그것을 해석 할 때 어떤 단어를 참조 할 것인지에 대한 초록 "주의"정보를 사용할 수있게 해주었다 이것은Word2Vec를 사용할 때의 점수 크게 업데이트되었지만변압기맥락 정보가 부족했습니다

"뉴토끼 165"Ai의 약점을 극복하는 AI

거기에 나타났습니다뉴토끼 165버트는 기본 아키텍처입니다변압기를 사용합니다 또한 학습 방법을 고안함으로써 전체 텍스트의 정보를 참조하고Context로 출력을 고려할 수 있습니다 게시 된 논문에 따르면, 11 개의 벤치 마크 작업이 있으며 이전의 가장 높은 점수를 초과합니다 이것은 뉴토끼 165가 다재다능 함을 나타내는 것으로 생각됩니다

그리고 정확성 외에 다른 것들이 있습니다 먼저, 우리는 딥 러닝과 함께 제공되는 "데이터의 양"문제를 줄일 것입니다 Google은 엄청난 양의 데이터 및 계산 리소스를 사용하여 교육을받은 미리 훈련 된 뉴토끼 165을 게시했기 때문입니다 또한 "시간이 걸리는 학습"의 문제도 줄어 듭니다 원래의 방식으로, 복잡한 뉴토끼 165은 처음부터 훈련을 받아야하지만, 위의 그림 2 및 훈련과 같이 간단한 뉴토끼 165을 추가하면 학습 시간이 거의 없어도 높은 점수를 얻을 수 있습니다!

요약

이번에는 뉴토끼 165를 간단한 방식으로 소개했습니다 자연어 처리에서 많은 문제를 해결할 수있는 잠재력을 느꼈습니까?

현재, 뉴토끼 165는 실제 문제를 포함한 여러 문제에 적용되어 확인되었습니다 확인이 완료되면 확인 세부 사항을보고하고 다음 기사에서 결과를보고합니다 그것도 살펴보세요!

[두 번째 판] Bert는 일본의 미리 훈련 된 뉴토끼 165 시도

/MISO/일본식 훈련 뉴토끼 165 -Bert-2

지난번, 우리는 자연 언어 처리 분야의 배경과 함께 Google이 발표 한 사전 훈련을위한 일반적인 언어 표현 뉴토끼 165 인 Bert를 소개했습니다 이 두 번째 기사에서는 실제 작업에 Bert를 사용하고 성능을 확인할 것입니다!